ZYB ARTICLES REPOS

go的io包[转]

转自:https://colobu.com/2019/02/18/read-data-from-net-Conn/

io.Reader.Read

io.Reader接口定义了Read(p []byte) (n int, err error)方法，我们可以使用它从Reader中读取一批数据。

常常使用这个方法从输入流中批量读取数据，直到输入流读取到头，但是需要注意的时候，我们应该总是先处理读取到的n个字节，然后再处理error。

如果要实现io.Reader接口，在实现Read方法时，不建议返回0,nil,除非输入的len(p)==0,因为这容易造成困惑，一般用0, io.EOF 来表示输入流已经读取到头。

package main
import (
	"fmt"
	"io"
	"net"
	"strings"
)
func main() {
	// 建立连接
	conn, err := net.Dial("tcp", "zhaoyanbai.com:80")
	if err != nil {
		fmt.Println("dial error:", err)
		return
	}
	defer conn.Close()
	// 发送请求, http 1.0 协议
	fmt.Fprintf(conn, "GET / HTTP/1.0\r\n\r\n")
	// 读取response
	var sb strings.Builder
	buf := make([]byte, 256)
	for {
		n, err := conn.Read(buf)
		if err != nil {
			if err != io.EOF {
				fmt.Println("read error:", err)
			}
			break
		}
		sb.Write(buf[:n])
	}
	// 显示结果
	fmt.Println("response:", sb.String())
	fmt.Println("total response size:", sb.Len())
}

io.Copy

func Copy(dst Writer, src Reader) (written int64, err error)可以从src复制数据到dst(Go 实现的方法一般把目的地址参数放在源参数的前面)，直到：

它返回读取的字节数以及遇到的第一个错误

注意成功的读取完输入流后err并不是io.EOF, 而是nil。 它内部是调用CopyBuffer(dst Writer, src Reader, buf []byte) (written int64, err error)实现的， CopyBuffer会有可能使用一个指定的buf来复制数据,如果buf的长度为0, 它会panic。

在两种特例的情况下buf并不会被使用,而是使用接口的方法进行复制：

  1. src实现了WriterTo接口
  2. dst实现了ReadFrom接口
	_, err = io.Copy(&sb, conn)
	if err != nil {
		fmt.Println("read error:", err)
	}

ioutil.ReadAll

ReadAll(r io.Reader) ([]byte, error)提供了一个从输入流中读取全部数据的方法，它读取输入流直到出现错误error或者读到头EOF。

成功的读取到头不会返回io.EOF, 而是返回数据和nil。

我们经常用它来读取可信的http.Response.Body。

	// 读取response
	data, err := ioutil.ReadAll(conn)
	if err != nil {
		if err != io.EOF {
			fmt.Println("read error:", err)
		}
		panic(err)
	}

io.ReadFull

ReadFull(r Reader, buf []byte) (n int, err error)从输入流中读取正好len(buf)字节的数据。

	for {
		n, err := io.ReadFull(conn, buf)
		if err != nil {
			if err != io.EOF && err != io.ErrUnexpectedEOF {
				fmt.Println("read error:", err)
			}
			break
		}
		sb.Write(buf[:n])
	}

io.ReadAtLeast

ReadAtLeast(r Reader, buf []byte, min int) (n int, err error)从输入流中读取至少min个字节到buf中，直到把buf读取满或者遇到error，包括EOF。

	for {
		n, err := io.ReadAtLeast(conn, buf, 256)
		if err != nil {
			if err != io.EOF && err != io.ErrUnexpectedEOF {
				fmt.Println("read error:", err)
			}
			break
		}
		sb.Write(buf[:n])
	}

io.LimitReader

LimitReader(r Reader, n int64) Reader返回一个内容长度受限的Reader，当从这个Reader中读取了n个字节一会就会遇到EOF。

设想一下如果没有这个保护措施，有可能会使内存飙升。

它就是提供了一个保护的功能，其它和普通的Reader没有两样。

	rr := io.LimitReader(conn, 102400)
	for {
		n, err := io.ReadAtLeast(rr, buf, 256)
		if err != nil {
			if err != io.EOF && err != io.ErrUnexpectedEOF {
				fmt.Println("read error:", err)
			}
			break
		}
		sb.Write(buf[:n])
	}

参考资料